#455 (comment)
말씀하신 것처럼 Ollama 컨테이너를 따로 올려서 도커 내부끼리 연결하는 방법이 있습니다.
저희 프로젝트에 어떤 방식으로 적용할지는 bicep, 마크다운 단계에서 같이 고민해보시죠!

개요

replacement of #455
리뷰는 다음과 같이 순서대로 진행하겠습니다

• 커넥터 코드 로직 / 다른 부분을 확인하고, 전체적으로 다시확인
  • model 태그명 유효성 검사
  • baseurl 경계값 테스트 추가
• bicep
• 마크다운 문서

백로그

• 현재 bicep은 외부에서 baseurl을 받는 구조로 되어 있음. 어딘가에 ollama를 로컬에 띄우고 연결하여 통합테스트 가능한 구조. 차후에는 Azure Container Registry, Serverless GPU 등 사용한 구조로 완전히 변경하여야함.
• 기본값변경: llama3.2는 3b에서도 한국어에 제대로 답변하지 못해서, 기본모델을 gemma/qwen 정도로 바꾸면 좋겠음. 특히나 8GB RAM 정도의 노트북에서 CPU로 가볍게 돌릴 수 있는 모델로.
  • Q : 하늘은 무슨 색이야?
  • A : 하늘은 하늘색이지만,จร래 나무 아래의 빛과 어두운 shade로 변한다.
• 기능추가: ollama에 pull되지 않은 model을 선택시 명시적인 예외를 던지기
• 기능개선:모델명으로 불러온 모델은 태그없이 연결가능. 모델명:태그로 불러온 모델은 태그를 꼭 붙여야함. 태그를 지정하지 않은 경우, 해당 모델이 하나뿐이면 연결해주고 두개 이상이면 ambiguous model name으로 CLI에 안내해주기.
• EnsureLanguageModelSettingsValid 메서드의 경계값 커버리지
• Ollama 도커파일 추가, 볼륨 설정

커버해야하는 경계값은?

• 공백 : 예) "", " "
• null
• 값 앞뒤로 trailing 공백
  • settings.BaseUrl!.Trim()) 로직이 있음
• 유효하지 않은 값, 이하 예시
  • baseurl인데 url포맷이 아닌경우
  • modelname인데 ollama 네이밍 컨벤션을 따르지 않는경우
    • latest 모델의 경우 태그 생략가능, 태그를 꼭 써야하는 경우는 문서에 기재

커버해야하는 경계값은?

• 공백 : 예) "", " "

• null

• 값 앞뒤로 trailing 공백

• 유효하지 않은 값, 이하 예시

  • baseurl인데 url포맷이 아닌경우
  • modelname인데 ollama 네이밍 컨벤션을 따르지 않는경우

값 앞뒤로 trailing 공백에 대한 부분은 settings.BaseUrl!.Trim()) == true 부분에서 공백이 없어지기에 추가하지 않는다고 판단해서 추가하지 않았습니다 baseurl에 url 포맷이 아닌경우에 대한 경계값은 EnsureLanguageModelSettingsValid 메서드는 단순히string.IsNullOrWhiteSpace만 체크하기에 GetChatClientAsync에서 경우에만 추가하였습니다!

로컬 컨테이너 배포시

• 호스트 머신의 Ollama를 사용한다면 현재와 같이 http://host.docker.internal:11434 사용
  • 이 경우 호스트 머신 Ollama가 도커쪽 요청을 들을 수 있도록 환경변수 설정 필요
  • 맥/리눅스 export OLLAMA_HOST=0.0.0.0, 윈도우 그.. 고급 시스템설정
• Ollama 컨테이너는 컨테이너 이름을 사용하여 http://ollama:11434와 같이 사용
  • 이 경우 호스트 머신쪽 설정 불필요
  • Ollama용 도커파일을 추가하고, 두개 컨테이너를 한번에 올릴 수 있도록 문서화 필요
  • Ollama 모델파일을 불필요하게 매번 불러오지 않도록 볼륨 처리 필요하겠음

  Connector 구현 이슈 범위는 아니므로, 별도 이슈를 등록하여 개선건으로 진행

  • Azure에서 ollama를 사용하려면 도커파일을 말고 Azure Container Apps로 배포
    • Azure Container Apps with Ollama for general AI inference
    • Azure Container Apps에서 서버리스 GPU 사용

👉 그래서 해야할 일은

• 호스트 머신 Ollama가 도커쪽 요청을 들을 수 있도록 환경변수 설정 가이드 추가
• Ollama 도커파일 추가하기

Azure 클라우드 배포시 위 작업 완료후 진행

• Azure에 Ollama를 어떻게 프로비저닝할지 검토

👉 하지만 일단은

• Azure 배포 디버깅하기

ERROR: error executing step command 'provision': deployment failed: error deploying infrastructure: deploying to subscription: 

Deployment Error Details:
InvalidTemplateDeployment: The template deployment 'openchatPlaygroundapp' is not valid according to the validation procedure. The tracking id is '8dd4174a-fdda-4e6b-9c8b-005b1b96edb2'. See inner errors for details.
ValidationForResourceFailed: Validation failed for a resource. Check 'Error.Details[0]' for more information.
ContainerAppSecretInvalid: Invalid Request: Container app secret(s) with name(s) 'github-models-token' are invalid: value or keyVaultUrl and identity should be provided.

로컬 컨테이너 배포시

• 호스트 머신의 Ollama를 사용한다면 현재와 같이 http://host.docker.internal:11434 사용

  • 이 경우 호스트 머신 Ollama가 도커쪽 요청을 들을 수 있도록 환경변수 설정 필요
  • 맥/리눅스 export OLLAMA_HOST=0.0.0.0, 윈도우 그.. 고급 시스템설정

• Ollama 컨테이너는 컨테이너 이름을 사용하여 http://ollama:11434와 같이 사용

  • 이 경우 호스트 머신쪽 설정 불필요
  • Ollama용 도커파일을 추가하고, 두개 컨테이너를 한번에 올릴 수 있도록 문서화 필요
  • Ollama 모델파일을 불필요하게 매번 불러오지 않도록 볼륨 처리 필요하겠음

  Connector 구현 이슈 범위는 아니므로, 별도 이슈를 등록하여 개선건으로 진행

  • Azure에서 ollama를 사용하려면 도커파일을 말고 Azure Container Apps로 배포

    • Azure Container Apps with Ollama for general AI inference
    • Azure Container Apps에서 서버리스 GPU 사용

👉 그래서 해야할 일은

• 호스트 머신 Ollama가 도커쪽 요청을 들을 수 있도록 환경변수 설정 가이드 추가
• Ollama 도커파일 추가하기

Azure 클라우드 배포시 위 작업 완료후 진행

• Azure에 Ollama를 어떻게 프로비저닝할지 검토

👉 하지만 일단은

• Azure 배포 디버깅하기

ERROR: error executing step command 'provision': deployment failed: error deploying infrastructure: deploying to subscription: 

Deployment Error Details:
InvalidTemplateDeployment: The template deployment 'openchatPlaygroundapp' is not valid according to the validation procedure. The tracking id is '8dd4174a-fdda-4e6b-9c8b-005b1b96edb2'. See inner errors for details.
ValidationForResourceFailed: Validation failed for a resource. Check 'Error.Details[0]' for more information.
ContainerAppSecretInvalid: Invalid Request: Container app secret(s) with name(s) 'github-models-token' are invalid: value or keyVaultUrl and identity should be provided.

말씀하신 내용 확인했습니다! 정리하자면

1. Ollama를 별도 컨테이너로 배포

필요한 과정:
Ollama용 Dockerfile 추가: Ollama 서비스를 실행할 수 있는 전용 Dockerfile을 프로젝트에 추가.

컨테이너 동시 실행 설정: 애플리케이션 컨테이너와 Ollama 컨테이너를 한 번에 실행하고 관리할 수 있도록 docker-compose.yml 같은 파일을 작성

모델 데이터 유지를 위한 볼륨 설정: Ollama가 모델 파일을 매번 새로 내려받지 않도록, 컨테이너 외부의 특정 경로와 컨테이너 내부의 모델 저장 경로를 볼륨으로 연결

컨테이너 간 통신 설정: 애플리케이션에서는 http://ollama:11434와 같이 컨테이너 이름을 사용해 Ollama 서비스에 접근하도록 설정
결론적으로 이 과정을 말씀하신게 맞을까요?

결론적으로 이 과정을 말씀하신게 맞을까요?

네 맞습니다~
Azure Container Apps로 배포하려고 하다보니 그런건데,
Azure에 어떻게 배포하면 좋을지 검토해서 공유해주실래요?

제 의견은 컨테이너화하고, Container Apps로 배포, 이후 서버리스 GPU를 사용하는 것입니다.
이렇게 하면 Azure Virtual Machine을 사용했을 때보다 비용이 보다 저렴하고,
꼭 Azure가 아니더라도 다른 클라우드 플랫폼, OnPrem 환경에서 사용하기에도 좋을 것 같습니다.

제가 알고 있는 토대로 host.docker.internal:11434 방식으로 문서 추가했습니다. ollama 쪽 환경변수로 함은 $env:OLLAMA_HOST = "0.0.0.0:11434" 쪽을 말하시는것 같아서 이 부분 추가했는데 다른 부분일까요?

제가 알고 있는 토대로 host.docker.internal:11434 방식으로 문서 추가했습니다. ollama 쪽 환경변수로 함은 $env:OLLAMA_HOST = "0.0.0.0:11434" 쪽을 말하시는것 같아서 이 부분 추가했는데 다른 부분일까요?

네 이부분 말씀드린게 맞습니다. 현재 단계에서는 Ollama는 Azure 배포를 하지 않는데,
지금 추가하신 Bicep 구문을 원복할지.. placeholder로 남겨놓을지 좀더 고민해보겠습니다.

리뷰 준비되면 댓글로 변경사항 간략히 알려주세요

전체적으로 잘 동작하는지 확인되면,
다시 코드단으로 돌아가 컨벤션을 맞추는 작업을 진행합니다 !

리뷰 준비되면 댓글로 변경사항 간략히 알려주세요

전체적으로 잘 동작하는지 확인되면, 다시 코드단으로 돌아가 컨벤션을 맞추는 작업을 진행합니다 !

1. Ollama 사용 시 GitHub Models 관련 배포 오류 해결하였습니다
   조건부로 githubModelsToken 값이 있을 때만 env에 secretRef가 추가 되게끔하는 방식을 사용했습니다.

2. URL 넘겨주는 방법도 포함하고, bicep에도 해당 변수를 처리할 수 있도록 수정하였습니다

@tae0y 올리신 리뷰사항들보고 수정했습니다! 공백 테스트 케이스로 \n\r 개행문자 혹은 \t 탭 이 부분에 관해서는 model 부분에 있어서 큰 의미가 없다고 생각하여 모델부분은 추가하지 않았습니다

넵 이제 코드 스타일과
Github container registry쪽 추가하고서 정리하면 될것 같아요.

@tae0y 올리신 리뷰사항들보고 수정했습니다! 공백 테스트 케이스로 \n\r 개행문자 혹은 \t 탭 이 부분에 관해서는 model 부분에 있어서 큰 의미가 없다고 생각하여 모델부분은 추가하지 않았습니다

넵 이제 코드 스타일과 Github container registry쪽 추가하고서 정리하면 될것 같아요.

말씀하신 사항 수정했습니다!

Azure에 배포한 Playground에서 홈서버에 띄운 Ollama를 연결해 테스트해보았습니다.
전체적으로 앱이 잘 동작합니다!

@justinyoo 저스틴님! Ollama Connector가 거의 다 마무리 되었습니다.
Bicep은 고민을 하다가 placeholder 용으로 OLLAMA_BASE_URL을 밖에서 주입받게끔 구성했습니다.
그리고 홈서버에 띄운 Ollama를 연결해 잘 동작하는지 테스트 했고, 잘 동작했습니다.

이번 PR은 이렇게 마무리하고,
차후에 Ollama 컨테이너를 Azure에 띄울 때 OLLAMA_BASE_URL 관련 로직을 삭제하고자 합니다.
어떠실까요?

@justinyoo 저스틴님! Ollama Connector가 거의 다 마무리 되었습니다. Bicep은 고민을 하다가 placeholder 용으로 OLLAMA_BASE_URL을 밖에서 주입받게끔 구성했습니다. 그리고 홈서버에 띄운 Ollama를 연결해 잘 동작하는지 테스트 했고, 잘 동작했습니다.

이번 PR은 이렇게 마무리하고, 차후에 Ollama 컨테이너를 Azure에 띄울 때 OLLAMA_BASE_URL 관련 로직을 삭제하고자 합니다. 어떠실까요?

서버리스 GPU를 써서 Ollama 서버를 운영해야 하는데, 이렇게 하면 사용할 수 있는 지역이 세 개로 확 줄어요. 그래서 이걸 넣는 게 좋을까 고민중... 관련 문서

#491 PR 머지되면서 컨플릭 생겼습니다. 함께 해결해 주세요.

@tae0y 올라마 커넥터 수정하면서 테스트 파일에 오류가 생겨서 원인 파악한 후 다시 푸쉬하겠습니다!

@tae0y 올라마 커넥터 수정하면서 테스트 파일에 오류가 생겨서 원인 파악한 후 다시 푸쉬하겠습니다!

@tae0y 오류를 찾는 과정에서 궁금한점이 생겼습니다! [GetChatClientAsync() 메서드에서 실제 Ollama 서버에 연결을 시도 하면서 테스트 환경에는 test.ollama:443 서버가 없어서 테스트 환경에서 오류가 발생하는것 같습니다. 그렇기에 Given_Valid_AppSettings_When_CreateChatClientAsync_Invoked_Then_It_Should_Return_ChatClient
Given_Valid_Settings_When_GetChatClientAsync_Invoked_Then_It_Should_Return_ChatClient
이 테스트 메소드들은 통합테스트로 빠져서 검증하는것을 생각하고 있는데 어떻게 생각하시나요?

@tae0y 오류를 찾는 과정에서 궁금한점이 생겼습니다! [GetChatClientAsync() 메서드에서 실제 Ollama 서버에 연결을 시도 하면서 테스트 환경에는 test.ollama:443 서버가 없어서 테스트 환경에서 오류가 발생하는것 같습니다. 그렇기에 Given_Valid_AppSettings_When_CreateChatClientAsync_Invoked_Then_It_Should_Return_ChatClient Given_Valid_Settings_When_GetChatClientAsync_Invoked_Then_It_Should_Return_ChatClient 이 테스트 메소드들은 통합테스트로 빠져서 검증하는것을 생각하고 있는데 어떻게 생각하시나요?

넵넵 분류를 통합테스트로 바꾸면 돼요.

DB, 네트워크 요청 이렇게 외부 리소스에 의존하는 테스트는 통합테스트로, 의존하지 않고 테스트할 수 있는 경우 단위테스트로 분류할 수 있대요.

test.ollama:443면 Valid한 Settings는 아니긴 한데, 기존 테스트 코드에서는 chatClient 생성까지는 잘 되었고. OllamaConnector 내부에서 chatClient.PullModelAsync(model) 이렇게 모델을 직접 Pull하면서 테스트가 깨지는군욥.

@tae0y 오류를 찾는 과정에서 궁금한점이 생겼습니다! [GetChatClientAsync() 메서드에서 실제 Ollama 서버에 연결을 시도 하면서 테스트 환경에는 test.ollama:443 서버가 없어서 테스트 환경에서 오류가 발생하는것 같습니다. 그렇기에 Given_Valid_AppSettings_When_CreateChatClientAsync_Invoked_Then_It_Should_Return_ChatClient Given_Valid_Settings_When_GetChatClientAsync_Invoked_Then_It_Should_Return_ChatClient 이 테스트 메소드들은 통합테스트로 빠져서 검증하는것을 생각하고 있는데 어떻게 생각하시나요?

넵넵 분류를 통합테스트로 바꾸면 돼요.

DB, 네트워크 요청 이렇게 외부 리소스에 의존하는 테스트는 통합테스트로, 의존하지 않고 테스트할 수 있는 경우 단위테스트로 분류할 수 있대요.

test.ollama:443면 Valid한 Settings는 아니긴 한데, 기존 테스트 코드에서는 chatClient 생성까지는 잘 되었고. OllamaConnector 내부에서 chatClient.PullModelAsync(model) 이렇게 모델을 직접 Pull하면서 테스트가 깨지는군욥.

분류를 통합테스트로 바꾼다해도 테스트 환경에서 실제로 실행 중인 Ollama 서버 주소와 접속하지 못해서 오류가 발생하는 것 같습니다..
그래서 저는 실제 네트워크 통신을 하는 객체를 가짜 객체(Mock Object)로 대체하는 방안은 어떻게 생각하시는 궁금합니다..

분류를 통합테스트로 바꾼다해도 테스트 환경에서 실제로 실행 중인 Ollama 서버 주소와 접속하지 못해서 오류가 발생하는 것 같습니다..
그래서 저는 실제 네트워크 통신을 하는 객체를 가짜 객체(Mock Object)로 대체하는 방안은 어떻게 생각하시는 궁금합니다..

이번엔 통합테스트로 분류 변경해서 마무리짓고 차후에 개선 이슈로 새로 진행하면 좋을 것 같아요.

말씀하신 방법은 지금 당장은 어떻게 구현할지 잘 떠오르지 않는데, 모델을 pull 하는 객체를 mock해서 주입해줘야하거든요. 그런데 그 객체를 생성하는 메서드를 테스트하는 거잖아요? 그래서 제한이 됩니다. 더 고민한다면 방법은 있겠지만 지금 단계에선 더 파고들지 않아도 될것 같아요.

좋은 착안입니다 !!

지금 해야할 일들을 정리해보면 크게 네가지네욥

• connector에 모델 pull하는 로직 추가
• 테스트 깨지는거 수정하기 통합테스트로 변경
• 문서 컨벤션 수정하기
• bicep에서 base_url 받는 부분 모두 제거

지금 해야할 일들을 정리해보면 크게 네가지네욥

• connector에 모델 pull하는 로직 추가
• 테스트 깨지는거 수정하기 통합테스트로 변경
• 문서 컨벤션 수정하기
• bicep에서 base_url 받는 부분 모두 제거

해당사항 푸쉬해서 올렸습니다!

@donghyeon639 #494 PR이 머지가 됐으므로 테스트 코드는 이를 참고해서 작성해 주세욥! 촘촘하게 작성하셔야 합니다.

우선 현재까지 반영된걸로 먼저 확인해볼게요